1-B05 スマホ1台での撮影によるピアノのジェスチャー演奏

https://scrapbox.io/files/6752b94d685242863f97fb2a.jpg

1-B05 スマホ1台での撮影によるピアノのジェスチャー演奏

三田 ちひろ（お茶の水女子大学），伊藤 貴之（お茶の水女子大学）

演奏をどこでも簡易的に楽しむことを目的として，鍵盤表示を必要としないジェスチャーのみでのピアノ演奏を可能にするために，手の動作から打鍵のタイミングを判定する方法を検討する. 本研究では1台のiPhoneを用いてMediaPipe Handsによるハンドトラッキングを適用し，指を曲げたタイミングで音が鳴るシステムを開発し, 評価実験を実施した．実験の結果から，左手親指の打鍵の判定基準の見直しや，右手中指から小指までの3本の指の離鍵判定の見直しが必要であるとわかった．